Thời Nguyễn, trong tất cả các dịp lễ tiết, chầu mừng, tuần du cho đến việc cấp báo đều có hiệu cờ. Trên đỉnh cột cờ còn đặt một trạm quan sát gọi là Vọng Đẩu. Thỉnh thoảng, lính canh phải trèo lên Vọng Đẩu dùng kính Thiên lý quan sát ngoài bờ biển.

Ngày 23/8/1945, sau khi Bảo Đại thoái vị, lá cờ đỏ sao vàng của nước Việt Nam Dân chủ Cộng hòa đã thay thế cho lá cờ hình quẻ ly của triều đình Nguyễn. Trong Sự kiện Tết Mậu Thân năm 1968, 8 giờ sáng ngày 31/1/1968, Quân Giải phóng miền Nam chiếm được Kỳ đài và lá cờ của Mặt trận Dân tộc Giải phóng miền Nam Việt Nam được kéo lên trong 26 ngày đêm. Đến ngày 24/2/1968, Đại đội Hắc Báo, thuộc Sư đoàn bộ binh 1 - Quân lực Việt Nam Cộng hòa chiếm lại Kỳ đài và hạ lá cờ này xuống.

Ngày 26/3/1975, sau khi giành thắng lợi trong Chiến dịch Huế - Đà Nẵng, lá cờ dài 12 m, rộng 8 m của Mặt trận Dân tộc Giải phóng miền Nam Việt Nam lại được kéo lên Kỳ đài.